哪个技能值得蒸馏？SGUID：为模型-技能协同进化选择紧凑技能库
🧭 LLM 技能蒸馏与模型-技能协同进化
New York University · Amazon
提出SGUID，通过筛选能持续提供有效蒸馏信号的技能子集，实现更稳定高效的模型-技能协同进化。
📌 工作参考价值（4 点）
- 在构建技能/指令库用于 RAG 或 Agent 时，不要仅按语义相关性全量检索；借鉴 SGUID，用 on-policy 蒸馏信号评估每个技能的真实效用，只保留能持续提供正向学习信号的技能，可显著压缩技能库规模（论文中 6 个技能 vs 全库最多 11 倍），降低推理与蒸馏开销。
- 模型-技能协同进化循环可迁移到搜索推荐场景：从线上模型 rollouts 中挖掘新的有效技能（如 query 改写规则、排序策略提示），用选择机制过滤无效技能，避免全量回放导致性能退化（论文中 Qwen3-4B 未过滤技能使 HMMT25 下降 0.3 点）。
- 对生成式推荐或 QueryRec 中的 prompt/技能管理：不是所有提示模板或策略都值得固化进模型，可以通过蒸馏信号筛选少数高价值技能，实现轻量级模型能力提升，特别适合频繁迭代的线上系统。
- 强调选择步骤是保证稳定进化的关键；实际业务中应设置在线评估或小流量实验验证技能有效性，避免直接引入未过滤技能伤害线上模型。
Experience Funnel：自进化智能体的状态-策略交替循环
🧭 自进化 Agent 状态-策略交替蒸馏 ★ 深度解读
The Hong Kong Polytechnic University · Huawei · Renmin University of China
用状态-策略交替循环把显式经验渐进蒸馏进参数策略，同时保留快速可编辑状态
📌 工作参考价值（4 点）
- 把线上 Agent 的 prompt/skill 显式状态与模型参数策略拆成两层：先用 held-out 验证门控快速更新 skill，再离线周期把反复有用的 skill 蒸馏进小模型，降低线上 context 长度和推理成本。
- 用三态对比（state-free / previous-state / updated-state）挑选要固化的样本，只保留 newly useful 和 persistently useful 轨迹，避免把噪声或模型已会的行为蒸馏进参数；电商导购/客服 Agent 可用点击、转化等 reward 做类似增量过滤。
- 做 token-level 归因蒸馏：用有状态/无状态两路概率的 JSD 定位真正被 skill 改变的 token，只给这些位置更高权重，比整条轨迹均匀蒸馏更数据高效，适合把大模型教师或 prompt 增益迁移到在线小模型。
- 固化后的策略仍需保留少量 residual state 才能拿到最大值，说明显式信息不能一次性全部内化；实践中应保留轻量 state/skill，待下一轮验证后再决定淘汰或更新。
Repo-To-Skill：从 GitHub 仓库蒸馏 AI4AI 技能
🧭 Agent 技能蒸馏与知识复用
Beijing Academy of Artificial Intelligence · University of Science and Technology of China · Renmin University of China · Hong Kong Polytechnic University
提出 DisCo 与 AREX-Skill 库，将 GitHub 仓库蒸馏为可复用技能，显著提升研究 Agent 表现
📌 工作参考价值（4 点）
- 把推荐/搜索团队常用 ML 仓库、内部训练/推理框架、特征工程、评估脚本等拆成 compact, verified skill 卡（方法族/代码用法/验证检查），挂到 rec-agent 的库中，避免每次任务重读长 repo 或浪费 trial。
- 借鉴 task-agnostic + task-oriented 双轨蒸馏：先离线从 1k 个仓库沉淀通用技能，再按具体推荐/搜索任务（如“多目标精排调参”）定向蒸馏小技能；可显著降低 agent 上下文长度和对长 repo 的依赖。
- 技能组织成 capability families（类似 taxonomy）后，可用检索式挂载，只把 relevant skills 注入 prompt，而不是把整个 repo 塞进 KV cache；这个模式对商品推荐、Query 改写、广告文案生成的 LLM/Agent 工具调用同样适用。
- 验证/评估：每个 skill 需通过可执行测试才入库，保证“知道方法”与“能跑通”结合；在业务 agent 平台里建议引入同样的 skill 验证环节，减少错误工具调用和不可复现实验。
SKILL-KD：通过对比式技能蒸馏增强冻结的LLM Agent
🧭 Agent 技能蒸馏与知识迁移 ★ 深度解读
State Key Lab of CAD&CG, Zhejiang University · School of Software Technology, Zhejiang University · School of Software and Microelectronics, Peking University · Alibaba Group
将教师-学生行为差异蒸馏为可验证文本技能补丁，结合漂移感知整合维护紧凑技能库
📌 工作参考价值（4 点）
- 电商多Agent系统的技能迁移：可以用强模型（如GPT-5.5）为弱模型（本地部署小模型）自动生成技能补丁，直接注入prompt，无需微调权重，适合快速适配不同业务场景的规则变化。
- 技能库的长期维护与防漂移：维护编辑历史并追溯每次修改的原始轨迹证据，避免因局部修复导致规则冗余、冲突或退化，对管理推荐策略中的业务规则（如促销匹配、文案生成规则）有直接参考价值。
- 自适应验证确保技能可靠：每个生成的技能补丁需在学生的实际执行中验证有效性，失败则迭代修订，直到行为改变。这种闭环验证思路可借鉴到生成式推荐中，用于自动评估和修正推荐话术或策略模板。
- 同异架构模型间蒸馏不依赖内部表征：蒸馏介质为自然语言技能文本，跨模型系列（如Qwen到ChatGPT）依然有效，适合在联盟/广告主侧不同模型间传递专家知识。
浏览器可扩展行为克隆：技能蒸馏复用用户轨迹
🧭 智能体 · 技能蒸馏与行为克隆
将用户浏览器交互轨迹蒸馏为自然语言技能并组织成技能图，让Agent直接复用决策先验
📌 工作参考价值（4 点）
- 从用户搜索/点击日志中蒸馏出紧凑的自然语言意图模板，供推荐或导购Agent直接检索复用，避免重复学习底层操作。
- 构建意图技能图谱，合并相似技能控制规模膨胀，可迁移到电商Query推荐中的意图归类或标签系统去冗余。
- 将行为克隆焦点从低层动作序列提升到高层决策先验，用于自动化运营Agent的策略初始化，减少冷启动探索。
- 利用互联网用户集体行为提炼常见任务流程（如比价、下单），作为生成式推荐的上下文背景或对话策略分支。
OPID：面向智能体强化学习的在策略技能蒸馏
🧭 Agent 强化学习 · 技能蒸馏 ★ 深度解读
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
从在策略轨迹中提取分层后见技能并蒸馏回政策，为多步智能体提供稠密信号，无需外部技能库
📌 工作参考价值（4 点）
- 在构建多步交互的购物助手或搜索Agent时，可直接利用完整对话轨迹自动提取工作流与关键决策技能（如定位商品、处理售后），用于后续训练，无需额外人工标注或外部技能库。
- 关键优先路由（critical-first routing）可以为长对话推荐系统提供细粒度强化：当用户处于尺寸选择、支付等关键步骤时使用步级技能，其他状态使用全局工作流技能，避免简单拼接带来的相互干扰。
- 训练过程中技能蒸馏仅依赖历史轨迹和旧策略的重打分，推理时不引入任何额外模块（检索、分析器），适合线上低延迟部署。
- 该方法可与现有RL训练流程（如GRPO）直接结合，增强样本效率，特别适合小模型或数据稀缺的推荐/Agent场景：仅用60%的交互数据就能达到全量数据的结果水平。